Transcrição da Prova — Iviner Cássio de Matos Santos
Matrícula: 20233004370 • Turma1 • Prova Escrita 1 (Modelo A)
Voltar ao Quadro Geral de Notas | Visualizar Laudo Oficial em HTML
Transcrição Fiel da Prova Escrita 1 — Modelo A
Discente: Iviner Cássio de Matos Santos
Matrícula: 20233004370
Turma: turma1
Taxa de Legibilidade Estimada: 94%
Questão 1 — Triagem com dados heterogêneos (5,0 pontos)
Item 1.a — Figura 1 e Decisão de Produção (2,0 pontos)
“As curvas, a partir da época 08, indicam que o modelo deve estar em overfitting. Ou seja, que ele decorou os dados de treino e perdeu poder de generalização para novos dados. Por isso a perda de treino segue diminuindo, e a perda de avaliação (dados desconhecidos para ajuste) segue aumentando.”
Observações de Leitura (OCR): Cursiva elegante e bem delineada em grafite; aponta com precisão a perda de generalização e a subida da perda de validação.
Item 1.b — Representação e Retropropagação (2,0 pontos)
“Os dados devem ser pré-processados antes de serem inseridos no modelo MLP, mantendo os valores numéricos e aplicando, por exemplo, one-hot encoding nos categóricos. Eles devem ser representados como vetores, matrizes ou tensores. No backpropagation, os parâmetros do modelo são recalculados, de acordo com o feedback obtido com os dados de validação no treinamento. Este mecanismo que penaliza e ajusta os parâmetros conformes os erros.”
Observações de Leitura (OCR): Detalha representação tensorial e ajuste gradativo via backpropagation.
Item 1.c — Evidências de Confiança e Reprodutibilidade (1,0 ponto)
“Antes de colocar o modelo em produção, é importante avaliar o seu desempenho com dados novos independentes (conjunto de teste). Além de considerar métricas com recall, precision e F1-score, juntamente com a acurácia. Para que os experimentos sejam reprodutíveis, é importante esta divisão de base (treino/validação/teste) estratificada e com uma semente aleatória fixada.”
Observações de Leitura (OCR): Resposta completa citando partição independente, métricas clínicas e semente aleatória fixa.
Questão 2 — Inspeção visual em condições novas (5,0 pontos)
Item 2.a — Diagnóstico Experimental (2,0 pontos)
“Na investigação, deve verificar se houve divisão e estratificação da base de dados, já que ela é desbalanceada. Verificar se o modelo teve um aprendizado ‘raso’, por exemplo, considerando a claridade ao invés da peça na imagem (sem dropout). Nestas verificações, deve-se expor o modelo a uma base de teste de confiança, ou rotulada a mão, e avaliar suas métricas de desempenho.”
Observações de Leitura (OCR): Aponta o atalho espúrio da iluminação/claridade diurna e a necessidade de base auditada manualmente.
Item 2.b — Arquitetura e Transferência de Aprendizado (2,0 pontos)
“Uma rede CNN é o modelo recomendado para classificação e reconhecimento de padrões em imagens. Ela permite tal processamento com menos parâmetros (economia computacional), utilizando a técnica de análise com kernels. \(\rightarrow\) Neste cenário, deve-se aplicar um congelamento nos parâmetros pré-treinados, e um data augmentation para simular novas imagens e melhorar o desbalanceamento da base. Por fim, treinar um MLP de ‘cabeça’, especializado neste reconhecimento, que é alimentado pelos parâmetros de saída do 1º modelo.”
Observações de Leitura (OCR): Explicação arquitetural detalhada da convolução, kernels, congelamento de base e treinamento da cabeça MLP.
Item 2.c — Cautela Amostral (1,0 ponto)
“No modelo MLP de ‘cabeça’, deve-se configurar uma rede com dropout, para induzir um aprendizado profundo entre os neurônios. Isso evita dependência entre os neurônio, aumenta a absorção de características do modelo. (dropout durante o treinamento).”
Observações de Leitura (OCR): Cursiva muito clara.
Questão 3 — Alerta que muda decisões (5,0 pontos)
Item 3.a — Interpretação da Calibração e Crítica ao Limiar (2,0 pontos)
“O limiar de 0,5 está incorreto, uma vez que a frequência real atinge o percentual de 0,5 em \(\hat{p} = 0,9\), aproximadamente. Neste caso, o modelo está alertando a equipe médica que o paciente terá uma piora e precisa de intervenção rápida deles, entretanto, muitas vezes erradando. Para \(\hat{p}=0,5\), errando mais do que acertando. Isso pode gerar exames extras, transtorno e estresse desnecessário.”
Observações de Leitura (OCR): Notações na margem da Figura 2: “\(TP = true positive\)”, \(\frac{0,18}{0,50} < \frac{1}{2} = \frac{0,25}{0,50}\).
Item 3.b — Custos Assimétricos e Capacidade Operacional (2,0 pontos)
“Os custos de um falso negativo do modelo, podem ser maiores que os de um falso positivo, uma vez que no primeiro, um paciente que precisava de atenção rápida pode não ser atendido. Usando esse critério, deve-se preferir um limiar ‘precavido’, que não deixe de identificar os verdadeiros positivos, mas respeite o número de pacientes e médicos disponíveis na clínica/hospital. Evita gastos desnecessários, sobrecarga médica, e não atendimentos.”
Observações de Leitura (OCR): Análise madura do trade-off clínico e restrição de capacidade.
Item 3.c — Telemetria e Deriva de Conceito (1,0 ponto)
“Considerar retreinar o modelo com o critério de otimizar os verdadeiros positivos e minimizar os falsos negativos.”
Observações de Leitura (OCR): Cursiva legível.
Questão 4 — Busca de conhecimento para atendimento (5,0 pontos)
Item 4.a — Representação Semântica e Limitações do Cosseno (2,0 pontos)
“A similaridade de cosseno metrifica o quanto um conceito (palavra) está próxima de outra, baseado no contexto que elas foram apresentadas durante o treinamento. Entretanto, mesmo considerando a base de treino como validada, palavras que compartilham contexto aparecem próximos, mesmo que não sejam sinônimas. Logo, outras métricas e avaliações também são necessárias.”
Observações de Leitura (OCR): Discussão perspicaz sobre coocorrência contextual vs. sinonímia.
Item 4.b — Avaliação Rigorosa de Recuperação (1,5 pontos)
“Medir apenas similaridade de cosseno não é adequado, palavras com contextos próximos têm alta similaridade, mesmo não tendo significados equivalentes. Para melhor a busca, pode usar RAG, busca semântica e léxica, e avaliar o Recall@K e Precision@K, por exemplo.”
Observações de Leitura (OCR): Cita formalmente RAG, Recall@K e Precision@K.
Item 4.c — Busca Híbrida e Governança (1,5 pontos)
“A combinação destas técnicas de busca, tendem a melhorar as respostas, já que analisa-se o significado, contexto e a aparição da palavra nos vetores de retorno. Além, de analisar outros métricos com Recall@K e Precision@K, das K primeiras respostas. Todas trabalham para mitigar as limitações entre si, e localizam a melhor resposta num RAG.”
Observações de Leitura (OCR): Cursiva clara e contínua.
Questão 5 — Assistente que pode não responder (5,0 pontos)
Item 5.a — Contestação do Maior Escore e Desenho da Abstenção (2,0 pontos)
“Basear-se apenas no maior score não é o mais recomendado. Sendo, indicado ter um limiar para considerar uma resposta como válida (\(\tau_1\)), e um limiar (\(\tau_2\)) para envio de uma segunda opção de resposta. E neste último, ficando ao usuário avaliar qual a melhor resposta para ele.”
Observações de Leitura (OCR): Modela os dois limiares de decisão (\(\tau_1\) e \(\tau_2\)).
Item 5.b — Conflito de Fontes e Validação Prévia (2,0 pontos)
“Para consultas com documentos conflitantes, pode-se optar para que o modelo responda baseado no documento com upload mais recente, a menos que a pergunta se refira explicitamente a datas anteriores. Usando um conjunto de documentos e consultas de teste, é possível simular e avaliar o funcionamento do modelo, tanto com consultas precisas (respondíveis) e não precisas (não respondíveis).”
Observações de Leitura (OCR): Propõe uso de metadados temporais e dataset com consultas respondíveis/não respondíveis.
Item 5.c — Telemetria e Impacto Operacional (1,0 ponto)
“Pode-se definir uma resposta padrão para consultas não respondíveis e contabilizá-las, dado na proporção total de consultas. Caso o percentual seja elevado, pode-se considerar mudar uma investigação: se os documentos estão desatualizados, se as perguntas estão mal formuladas, ou se deve-se mudar os critérios de resposta.”
Observações de Leitura (OCR): Proposta detalhada de telemetria da taxa de abstenção.
Espaço de Rascunho / Cálculos Adicionais
[EM BRANCO]